OxygenREC-v2: Internalizing Discrimination into Generative Recommendation
OxygenREC-v2:将判别信号内部化到生成式推荐
🧭 生成式推荐 · 行为内部化 ★ 深度解读
JD.COM, Beijing, China
通过行为指令条件生成与熵感知特权自蒸馏,将点击/加购/下单信号直接注入生成式推荐,无需外部奖励模型
📌 工作参考价值(4 点)
- 行为感知生成可直接复用:在解码器前缀插入行为指令(如“点击”、“加购”、“下单”),让模型在生成 SEMANTIC ID 时根据业务目标切换候选分布,无需为不同场景维护多个模型。
- 用可验证奖励替代人工奖励模型:以生成结果与真实交互 SID 的 token 级匹配率(几何加权)作为 RL 奖励,避免训练独立排序模型带来的分布外打分和奖励 hack 问题,大幅降低离线评估与维护成本。
- 特权未来蒸馏可融入训练流程:在训练时利用用户未来行为(点击及以上)作为教师前缀,提供更密集的偏好信号;通过熵门控只对低熵位置进行蒸馏,避免全位置蒸馏引入噪声,超参(蒸馏覆盖率 20%)可直接借鉴。
- 行为加权预训练即可带来明显提升:即使不使用后训练,在预训练时丢弃仅曝光样本,按行为价值加权损失,已能将 HR@512 提升 0.58pp,可作为轻量级基线。